When the Judge Changes, So Does the Measurement: Auditing LLM-as-Judge Reliability
当裁判改变，测量随之改变：审计 LLM 裁判的可靠性
🧭 LLM-as-Judge 可靠性审计
Imperial College London · Nanchang Institute of Technology
揭示评估器更换导致的测量歧义，发现模型升级路径不可互换且偏差犹存，强调审计实践
📌 工作参考价值（4 点）
- 若用 LLM 作为推荐解释/对话质量的评判器，更换底层评估模型（如从 GPT-4 切到 GPT-4o）时，分数波动可能源于评估器本身的偏差而非系统真正变好，应配套固定响应集的 ab 测试来解耦模糊性。
- 在自动化评测链路中，即使使用更强的 judge，位置偏差和冗长偏差仍存在，建议在 prompt 中显式随机化选项顺序、引入长度惩罚机制。
- 多 judge 投票（jury）未必提升可靠性：当 judge 间错误相关性高时，重复采样增益有限；可转向异构 judge 组合或只在低相关性场景下加 jury。
- 若采用结构化辩论（debate）让多 agent 修正判断，务必记录完整的解析器和回退日志，否则决策变化无法归因于 deliberation，审计性差。